Tháng 3 năm 1861, mẹ của Victoria qua đời, Victoria ở bên cạnh bà trong giờ phút đó. Sau khi đọc các thư từ mà mẹ để lại, Victoria nhận ra rằng mẹ bà vốn rất thương yêu bà;[104] Bà rất đau lòng, và đổ lỗi cho Conroy và Lehzen vì "thật độc ác" khi li gián bà với mẹ bà.[105] Để chia sẻ với người vợ đang cực kì đau buồn,[106] Albert gánh hết tất cả công việc của bà, dù cho chính ông cũng đang mắc bệnh đau dạ dày mãn tính.[107] Vào tháng 8, Victoria và Albert đến thăm con trai của họ, Thân vương xứ Wales, vốn đang tham dự một cuộc diễn tập quân sự gần Dublin, và dành một vài ngày nghỉ ở Killarney. Vào tháng 11, Albert nghe phong phanh có tin đồn rằng con trai ông đã ngủ với một đào hát người Ireland.[108] Trong nỗi kinh ngạc, Albert đi đến Cambridge, nơi Vương tử đang theo học, để giáp mặt với anh ta.[109] Vào đầu tháng 12, Albert rất không khỏe.[110] Ông bị chẩn đoán là mắc bệnh thương hàn bởi William Jenner, và qua đời vào ngày 14 tháng 12 năm 1861. Victoria hoàn toàn suy sụp.[111] Bà cho rằng cái chết của chồng bà là vì lo buồn cho cái thói trăng hoa của Thân vương xứ Wales. Ông đã bị "giết chết bởi một thực tế đáng sợ", bà nói.[112] Bà bắt đầu để tang và mặc đồ đen trong suốt quãng đời còn lại. Bà tránh xuất hiện trước công chúng, và hiếm khi đặt chân lên đường phố trong nhiều năm sau đó.[113] Cuộc sống ẩn dật này khiến bà có biệt danh "góa phụ của Windsor".[114]

Việc Victoria tự mình tránh xa công chúng đã làm giảm lòng tin của người dân đối với chế độ quân chủ, và khuyến khích chủ nghĩa cộng hòa có cơ hội phát triển.[115] Bà cam đoan sẽ thực hiện đúng những nhiệm vụ của bà trong chính phủ, nhưng lại sống ẩn dật trong các cung điện vương thất của bà—Windsor Castle, Osborne House, và nơi ở tư nhân tại Scotland mà bà và Albert đã mua lại năm 1847, Lâu đài Balmoral. Tháng 3 năm 1864, một người biểu tình bị chặn lại trước cửa Cung điện Buckingham đã tuyên bố "những cơ ngơi hoa lệ này nên được cho thuê hay bán lại bởi vì hậu quả của sự xuống dốc tàn tạ của chủ nhân nó".[116] Cậu của bà, Leopold, viết thư khuyên bà nên xuất hiện trước công chúng. Bà đồng ý đến thăm khu vườn thuộc Hiệp hội vườn hoàng gia tại Kensington và diễu hành trên đường phố Luân Đôn trên một chiếc xe ngựa.[117]

Trong những năm 1860, Victoria ngày càng thân cận với một người đầy tớ đến từ Scotland, John Brown.[118] Có những tin đồn nhằm có mục đích nói về một mối quan hệ lãng mạn và thậm chí là một cuộc hôn nhân bí mật giữa họ được lưu truyền, và Nữ vương bị gọi là "Mrs. Brown".[119] Câu chuyện về mối quan hệ giữa họ được chuyển thể thành một bộ phim công chiếu năm 1997 mang tên Mrs. Brown. Một bức họa của Sir Edwin Henry Landseer miêu tả Nữ vương và Brown đã được trưng bày tại Học viện hoàng gia, và Victoria viết một cuốn sách tên Leaves from the Journal of Our Life in the Highlands, nội dung quyển sách đề cập rõ về Brown và Nữ vương đánh giá ông ta rất cao.[120]

Palmerston chết năm 1865, và sau một thời gian ngắn nắm quyền của Russell, Derby trở lại cương vị Thủ tướng. Năm 1866, Victoria tham dự Phiên Khai mạc Nghị viện lần đầu tiên kể từ cái chết của Albert.[121] Năm sau, bà ủng hộ việc thông qua Đạo luật Cải cách 1867 tăng gấp đôi số lượng cử tri bằng cách mở rộng quyền bầu cử cho những người công nhân ở thành thị,[122] dù bà không ủng hộ việc bỏ phiếu cho phụ nữ.[123] Derby từ chức năm 1868, bị thay thế bởi Benjamin Disraeli, ông ta tìm cách làm vui lòng Victoria. "Tất cả mọi người đều nịnh hót," ông ta nói, "và khi Bệ hạ nắm quyền lực của hoàng gia, Người nên đặt nói trên một cái xẻng."[124] Ông ta ca tụng bà với cụm từ "we authors, Ma'am".[125] Disraeli chỉ nắm quyền có vài tháng, và cuối năm đó đối thủ của ông ta đến từ đảng Tự do, William Ewart Gladstone, được cử làm Thủ tướng. Victoria thấy rằng cách cư xử của Gladstone ít lịch thiệp; khi ông nói với bà, bà được cho là đã từng phàn nàn sau cuộc gặp, như thể bà bị xem là "một cuộc gặp công cộng hơn là gặp một người phụ nữ".[126]

Năm 1870, những người Cộng hòa ở Anh, vốn lên án về sự ẩn dật của Nữ vương, có cơ hội trỗi dậy sau sự kiện Đệ Tam Cộng hòa Pháp được thành lập.[127] Họ tổ chức một cuộc mít tinh ở Quảng trường Trafalgar yêu cầu truất ngôi Victoria, và các đảng viên Cấp tiến diễn thuyết chống lại bà.[128] Tháng 8 và tháng 9 năm 1871, bà bị bệnh nặng với một áp xe trong cánh tay, căn bệnh này được Joseph Lister điều trị thành công bằng phương pháp phun loại thuốc khử trùng mới của ông, carbolic acid.[129]

Cuối tháng 11 năm 1871, lúc phong trào Cộng hòa lên tới đỉnh cao, Thân vương xứ Wales lại mắc bệnh sốt thương hàn, căn bệnh được cho là đã dẫn đến cái chết của cha ông ta, và Victoria lo sợ rằng con bà sẽ không qua khỏi.[130] Khi ngày kỉ niệm 10 năm cái chết của chồng bà đến gần, bệnh tình của con trai bà chuyển biến xấu, và Victoria tiếp tục đau khổ.[131] Cả nước cảm thấy nhẹ nhõm khi Vương tử hết bệnh.[132] Mẹ con bà tham gia một cuộc diễu hành quanh Luân Đôn và tổ chức một đại lễ tạ ơn tại Nhà thờ chính tòa Thánh Paul ngày 27 tháng 2 năm 1872, và phong trào cộng hòa lắng xuống.[133]

Ngày cuối cùng của tháng 2 năm 1872, hai ngày sau buổi lễ tạ ơn, Arthur O'Connor 17 tuổi (cháu trai lớn của nghị sĩ Cấp tiến người Ireland Feargus O'Connor) dùng một khẩu súng không nạp đạn bắn vào chiếc xe ngựa mở cửa của Victoria sau khi bà khởi hành đến Cung điện Buckingham. Brown, người đi cùng Nữ vương, khống chế được anh ta và O'Connor sau đó bị kết án 12 tháng tù giam.[134] Kết quả của sự kiện này là, Victoria càng khôi phục được lòng tin của công chúng.[135]